在给定的学习任务中提供不向导会传达出一个关键的归纳偏见，如果正确指定，可以导致样本效率学习和良好的概括。但是，对于许多感兴趣的问题来说，理想的不变性通常是未知的，这既导致了工程知识，又试图为不变性学习提供框架。但是，不变性学习是昂贵的，并且对于流行的神经体系结构而言是密集的。我们介绍了摊销不变性学习的概念。在前期学习阶段，我们学习了跨越不变性的特征提取器的低维流形，该曲线跨越了不变性，可以使用超网络进行不同的转换。然后，对于任何感兴趣的问题，模型和不变性学习都可以通过拟合低维不变性描述符和输出头的速度快速有效。从经验上讲，该框架可以在不同的下游任务中识别适当的不向导，并与常规方法相比，导致可比或更好的测试性能。我们的Hyper Invariance框架在理论上也很吸引人，因为它可以实现概括性结合，从而在模型拟合和复杂性之间的权衡中提供了一个有趣的新工作点。
translated by 谷歌翻译
我们在本文中解决了增量无监督域适应（IDA）的新问题。我们假设标记的源域和不同的未标记的目标域通过约束逐步观察到与当前域的数据仅一次可用。目标是为当前域概括为所有过去域的准确性。 IDA设置因域之间的突然差异以及包括源域内的过去数据的不可用。受到生成功能重放的概念的启发，我们提出了一种名为特征重放的增量域适应（Frida）的新颖框架，它利用了一个名为域 - 通用辅助分类GaN（DGAC-GaN）的新的增量生成对抗性网络（GAN）来生产域明确的特征表示无缝。对于域对齐，我们提出了一种简单的扩展名为Dann-Ib的流行域对抗神经网络（Dann），鼓励歧视域 - 不变和任务相关的特征学习。 Office-Home，Office-Caltech和Domainnet数据集的实验结果证实，FIDA维护了卓越的稳定性可塑性权衡，而不是文献。
translated by 谷歌翻译